Carlos sinh ra ở thủ đô Tây Ban Nha, Madrid, con trai của Filipe IV của Tây Ban Nha và vợ thứ hai, Mariana của Áo (còn gọi là Maria Anna). Là người duy nhất còn sống sót của hai cuộc hôn nhân của cha mình, Charles được đặt tên là Hoàng tử của Asturias, tựa đề cho người đầu tiên đứng bên cạnh ngai vàng của Tây Ban Nha[3].

Nhánh Tây Ban Nha của dòng họ hoàng gia Habsburg đã được ghi nhận cho sự liên kết cùng cực.[4] Nhận thức rõ rằng họ có quyền lực để kết hôn may mắn, họ kết hôn giữa họ để bảo vệ lợi ích của họ. Philip và Mariana thực sự là chú và cháu gái; Do đó, Charles không chỉ là con trai của họ, mà còn là anh em họ của Mariana và cháu trai của Philip.

Charles đã bị khuyết tật về thể chất và tinh thần và vô sinh, có thể là do con cận huyết rộng lớn này. Do cái chết của anh em ruột của mình, ông là thành viên cuối cùng của dòng họ Habsburg người Tây Ban Nha.[5]

Charles đã không học nói cho đến năm bốn tuổi cũng như không đi được cho đến lúc lên tám, và được đối xử như một đứa trẻ sơ sinh cho đến khi ông mười tuổi. Hàm của ông đã bị biến dạng rất xấu (một ví dụ cực đoan của cái gọi là hàm răng Habsburg) mà ông hầu như không thể nói hoặc nhai. Sợ rằng đứa trẻ yếu đuối sẽ bị đánh thức quá mức, những người chăm sóc của anh ta đã không buộc Charles phải đến trường. Sự dửng dưng của chàng thanh niên Charles đã phấn chấn đến mức đến nỗi đôi khi anh ta không phải là người sạch sẽ. Khi người em cùng cha khác mẹ của ông, Don Juan José của Áo, là con của Philip IV, đã nhận được sức mạnh từ việc trục xuất hoàng hậu ra khỏi tòa án, ông đã che mũi và nhấn mạnh rằng nhà vua ít nhất là chải tóc.

Hoạt động mạnh mẽ duy nhất trong đó Charles được biết là đã tham gia là bắn súng. Ông thỉnh thoảng đắm mình trong môn thể thao trong khu bảo tồn El Escorial.